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摘要 : 

目的 : 放疗 过 程 中 的 锥 形 束 CT(cone beam CT，CBCT) 可 为 患者 提供 更 精确 的 靶 区 定位 ， 
但 由 于 散射 线 多 造成 的 对 比 度 低 、 噪 声 大 、 伪 影 大 等 ， 导 致 影像 质量 较 差 ， 在 实时 放疗 中 无 
法 用 于 剂量 计算 。 本 研究 则 在 使 用 Unet、CyclaGAN 和 CGAN 等 三 种 深度 学 习 网 络 生成 
基于 CBCT 的 合成 CT(sCTs)， 研 究 并 对 比 三 种 SCTs 的 图 像 质量 。 
方法 : 使 用 78 例 前 列 腺 癌 患 者 的 CBCT 和 计划 CT(pCTs) 数 据 ， 进 行 预 处 理 后 ， 其 中 63 例 
为 训练 集 ，10 例 为 测试 集 ，5 例 为 验证 集 ， 分 别 训练 和 评估 基于 三 种 模型 的 图 像 质 量 。 使 
用 平均 绝对 误差 (MAE)、 平 均 误差 (ME)、 均 方 误差 (MSE)、 峰 值 信 噪 比 (PSNR)、 结 构 相 似 性 
(SSIM) 和 空间 非 均 匀 性 (SNU) 等 影像 评估 指标 以 及 频 域 信息 进行 评估 。 

结果 : 在 三 种 模型 中 ，cGAN 模型 在 各 个 指标 上 都 表现 出 最 优 的 性 能 。 在 全 局 条 件 下 的 图 
像 质量 方面 ,平均 MAE 降低 到 7.77HU, MSE 降低 到 4.99, PSNR 提高 到 54.95, SSIM 提高 
到 96%. 

结论 : 应 用 深度 学 习 方法 可 以 大 幅 修 正 CBCT 的 HU 值 并 生成 对 应 高 质量 的 SCT， 针 对 前 列 
腺 癌 的 病人 ，CGAN 模型 生成 的 SCT 拥有 更 好 的 影像 质量 ， 使 用 该 模型 生成 基于 CBCT 的 
SCT 可 以 为 前 列 腺 癌 放 疗 靶 区 剂量 计算 提供 。 
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Abstract: 
Objective: Cone beam CT(CBCT) can provide more accurate target location for 
patients during radiotherapy. However, due to the low contrast, loud noise and 
large artifacts caused by many scattered lines, the image quality is poor, and it 
cannot be used for dose calculation in real-time radiotherapy. This study aims to 
generate CBCt-based synthetic CT (sCTs) using three kinds of deep learning 
networks, namely Unet, CyclaGAN and CGAN, and study and compare the 
image quality of the three sCTs. 
Methods: The CBCT and pCTs data of 78 patients with prostate cancer were 
preprocessed, including 63 training sets, 10 testsets, and 5 validation sets, to 
train and evaluate the image quality based on the three models, respectively. 
Image evaluation indexes such as mean absolute error (MAE) , mean error 
(ME), mean square error (MSE), peak signal-to-noise ratio (PSNR), structural 
similarity (SSIM) and spatial non-uniformity (SNU) and frequency domain 
information were used for evaluation. 
Results: Among the three models, CGAN model showed the best performance in 
each index. In terms of image quality under global conditions, the average MAE 
is reduced to 7.77HU, MSE is reduced to 4.99, PSNR is increased to 54.95, SSIM 
is increased to 96%. 
Conclusion: The deep learning method can significantly modify the HU value of 
cbct and generate the corresponding high-quality sCT. For patients with prostate 
cancer, the SCT generated by cGAN has better image quality. The CBCt-based 
sCT generated by this model can provide the target dose calculation for prostate 
cancer radiotherapy. 
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2.2.1 Unet 模型 

Unet 模型 是 一 个 经 典 的 图 像 分 割 网 络 ， 模 型 如 图 1 所 示 。 该 网 络 是 左右 对 称 的 ， 左 侧 
是 用 来 获取 特征 信息 的 压缩 路 径 , 右 侧 是 精准 定位 的 拓展 路 径 , 在 跳跃 连接 部 分 使 用 拼接 操 
作 进 行 特 征 融 合 。 其 卷 积 结构 统一 为 3X3 的 卷 积 核 ， 填 充 为 0， 网 络 中 没有 全 连接 操作 。 
因 其 具有 灵活 简单 的 优点 ， 在 样本 数据 较 少时 也 可 以 获得 较 好 的 分 割 效果 04。 
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图 1.Unet 模型 流程 图 
使 用 Unet 模型 训练 时 ， 采 用 平均 绝对 误差 (MAE) 和 结构 不 相似 度 (DSSIM) 的 组 合作 为 


损失 函数 ， 采 用 Adam 优化 算法 ，500 个 训练 epoch 的 学 习 率 为 0.0001。 
MAE 和 DSSIM 的 方程 定义 如 下 : 
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ij 


(2uscrHacr + C1)(20scracr + c2) 
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式 中 ，M 为 图 像 中 的 总 像素 数 ，h 和 G 为 平均 值 和 标准 差 ， 其 中 a{A, B) 为 A、B 两 幅 图 像 的 
协 方差 ，cl= [(0.01L)]2 c2= [(0.03L)]?, L 为 dCT 图 像 中 像素 值 的 动态 范围 。Unet 的 最 终 损 
失 函 数 如 式 3 所 示 : 

Lossynes = AMAE(SCT, dCT) + (1 — a)DSSIM(SCT, ACT), # (3) 
其 中 ao 为 MAE 与 DSSIM 之 间 的 平衡 系数 ， 设 为 0.75。 


DSSIM(sCT, dCT) =1 一 »#(2) 


2.2.2 CycleGAN 模型 

CycleGAN 模型 是 一 种 实现 图 像 风格 转换 功能 的 生成 对 抗 网 络 ， 它 可 以 在 两 种 类 型 图 
像 之 间 进 行 转换 而 不 需要 对 应 的 关系 ! CycleGAN 方法 03 是 由 两 个 GAN 组 成 , 模型 如 图 2 
所 示 。 通 过 生成 器 和 鉴别 器 的 对 抗 性 反馈 ， 分 别 学 习 两 个 图 像 域 的 正 向 和 反 向 映射 。 生 成 器 
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图 2.CycleGAN 模型 流程 图 3.CGAN 模型 流程 图 


2.2.3 CGAN 模型 


CGAN 模型 如 图 3 所 示 。CGAN 不 需要 周期 一 致 性 , 因此 不 会 保留 CBCT 的 强 伪 特 征 ， 


并 将 CBCT 作为 判别 器 的 条 件 输入 来 增强 网 络 学 习 。CGAN 的 发 生 器 和 鉴别 器 与 前 述 


进行 训练 。CGAN 损失 函数 如 下 所 示 : 


L-caw = EllogD(CBCT,dCT)| + E [log (1- D(CBCT, G(CBCT)))| 
+AE|||dCT — G(CBCT)|l1].# (8) 


EPA’ 100. CGAN 训练 500 次 ， 学 习 率 为 0.0001。 


2.3 评估 


后 将 生成 的 SCT 通过 生成 器 Gyx 转换 回 CBCT 域 ， 即 CycleCBCT， 并 通过 循环 一 致 性 


CycleGAN 的 发 生 器 和 鉴别 器 一 致 , 便于 后 续 比 较 。 由 CGAN 从 CBCT 生 成 的 SCT 与 CBCT 
连接 后 ， 会 受到 鉴别 器 的 判断 ， 产 生 对 抗 性 损失 。 除 了 对 抗 损失 外 ，CGAN 还 使 用 L1 损失 


鉴于 所 有 的 图 像 相似 性 指标 都 只 对 病人 的 轮廓 内 体 素 进行 计算 ， 本 文 利用 MATLAB 和 
PYTHON 软件 对 SCT 和 OCT 进行 处 理 , 并 在 全 局 和 局 部 条 件 下 对 不 同方 法 生成 的 CBCT 和 
SCT 的 图 像 质量 和 HU 精度 进行 了 评价 。 局 部 评价 提取 的 高 对 比 度 区 域 和 低 对 比 度 区 域 如 图 


A(a) tas, 计算 SNU 所 选取 的 骨 组 织 和 软组织 区 域 如 图 4(b) 所 示 。 评价 指 标 为 MAE、 
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相似 度 (SSIM)、 峰 值 信 品 比 (PSNR) 和 空间 非 均 匀 性 (SNU)。 使 用 MAE 计算 两 幅 图 像 中 所 有 


像素 值 的 平均 绝对 误差 ， 定 义 为 式 1。 用 于 比较 结构 信息 的 SSIM 定义 为 : 


SSIM = 1 — DSSIM,#(9) 
其 中 DSSIM 定义 为 式 2。PSNR 用 于 评价 图 像 质量 ， 特 别 用 于 降 噪 ， 定 义 为 : 
PSNR(sCT, dCT) =20 x logy(MAX) — 10 x logio(MSE(sCT, dCT)),#(10) 


1 
MSE(sCT, dCT) = aD. IsCT(i.j) — dCT (i. Dl?,#(11) 


其 中 MAX 是 SCT BK CBCT 中 的 最 大 像素 值 。 空 间 非 均匀 性 定义 为 感 兴趣 区 域内 最 大 和 最 
小 平均 HU 的 差 值 来 进行 比较 。 
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a b 
图 4. a.sCT 低 对 比 度 区 和 高 对 比 区 的 选取 ， 黄 色 代 表 低 对 比 度 区 ， 红 色 代 表 高 对 比 度 区 。b. 
骨 组 织 和 软组织 区 域 的 选取 ， 黄 色 代 表 骨 组 织 区 ， 绿 色 代 表 软 组 织 区 。 


3. 结果 

所 有 测试 SCT 图 像 和 CBCT 图 像 的 定量 评价 结果 见 表 1。 从 整体 评价 来 看 , cycleGAN 
的 MAE 降低 到 22.73 +2.34 HU, SSIM 增加 到 0.88+0.01, PSNR 增加 到 47.77 土 0.68， 而 
Unet 的 MAE 分 别 为 8.64 土 1.49 HU， 效 果 更 好 ，SSIM 为 0.96 土 0.01，PSNR 分 别 为 52.72 
土 1.48。 此 外 ，cGAN 在 所 有 指标 上 都 获得 了 最 好 的 性 能 ，MAE Jy 7.77 +1.32 HU, SSIM 
为 0.926 士 0.01，PSNR 为 54.95+1.48 dB， 表 明 其 在 生成 高 质量 SCT 图 像 方面 具有 优势 。 
平均 误差 和 均 方 误差 代表 合成 CT 与 计划 CT 间 的 区 别 ， 值 越 小 ， 模 型 的 学 习 效 果 就 越 好 。 

对 于 局 部 的 测试 ， 高 对 比 度 区 域 得 到 出 与 全 局 评估 基本 一 致 的 结果 ，CGAN 模型 在 各 
种 指标 上 都 表现 出 优异 的 性 能 。 然 而 ， 在 低 对 比 度 区 域 ，Unet 模型 在 各 项 指标 上 均 优 于 
GAN 模型 。 

此 外 ， 如 表 3 所 示 ，CGAN 模型 极 大 的 减 小 了 组 织 的 空间 不 均匀 性 ， 增 强 了 SCT 图 像 
的 对 比 度 ， 而 Unet 模型 造成 了 模糊 效应 ， 导 致 对 比 度 降低 。 

表 1. 测 试 集 sCT 和 CBCT 图 像 的 定量 评价 结果 . 


CBCT CycleGAN Unet CGAN 


ME (HU) 1.12+3.22 10.4443 3.17 土 0.6 0.29+0.95 


MAE (HU) 14.01 £2.7 22.73 +2.34 8.64 +1.49 77 十 1,32 
MSE 8.1 +2.43 20.64 +2.27 4.88 + 1.35 4.994 1.3 


PSNR 50.144 1.54 47.77 £0.68 52.724£148  54.95+1.48 
SSIM 0.93 £0.02 0.88 +0.01 0.96 +0.01 0.96 +0.01 


表 2. Mit sCT 和 CBCT 图 像 的 局 部 定量 评价 结果 . 


CycleGAN Unet CGAN 
MAE (HU) 98.05 土 139.5 ”31.05 土 37.41  30.0422.04 
高 对 比 度 区 PSNR 18.26 +6.24 25.56£10.49 24.864 14.32 
SSIM 0.444041 0.79 +£0.18 0.75+0.19 
MAE (HU) 45.83 £20.49 16.49+9.1 23.72 + 15.37 
低 对 比 度 区 PSNR 19.23 +9.93 28.54 土 11.2 25.97+15.08 
SSIM 0.39+0.25 0.7440.15 0.69+0.17 


表 3.dCT、CBCT 和 sCTs 的 上 骨 和 软组织 空间 不 均匀 性 . 


dCT CBCT CycleGAN Unet CGAN 

Bone 0.3476 0.2532 0.4544 0.1254 0.098 

Soft tissue 0.0928 0.2204 0.1313 0.0749 0.0361 
CBCT Unet 


100 200 300 400 500 


CycleGAN 


-1000 
100 200 300 400 500 100 200 300 400 500 


5. ACT 图 像 相对 于 CBCT 与 各 SCT 对 应 CT 值 差 图 。 

5 提供 了 一 个 测试 患者 在 ACT 与 CBCT 和 SCT 之 间 HU 差异 的 比较 。 相 对 于 ACT, 
每 张 CT 图 像 都 附 有 相应 的 HU 差 图 。 在 四 种 模型 中 ，cycleGAN 的 精度 较 差 ， 其 全 局 HU 
值 的 差异 最 大 。 相 比 之 下 ，CGAN 表现 出 最 好 的 性 能 ， 与 ACT 差 值 最 小 。 


4. 讨论 和 结论 

本 文 以 三 种 常见 的 深度 学 习 模 型 作为 基础 , 在 实际 应 用 中 进行 了 比较 , 通过 定量 分 析 得 
出 CGAN 模型 更 适合 开展 基于 CBCT 的 自 适 应 放疗 的 结论 。 

Unet 模型 作为 一 种 经 典 模型 ， 在 图 像 处 理 分 析 中 运用 广泛 。 明 讲 03 等 利用 该 模型 实现 
了 低能 CBCT 图 像 转换 成 高 能 CBCT 图 像 ， 该 预测 高 能 图 像 的 各 项 指标 均 与 真实 高 能 图 像 


接近 。 本 文 在 利用 该 模型 生成 SCT 时 ME 相 较 于 CBCT 会 有 一 定 提高 ， 可 能 是 该 模型 在 学 
习 的 过 程 中 会 默认 的 提高 图 像 的 CT 值 ， 从 而 引起 该 误差 的 增加 。 宋 新 宇 等 4 研究 了 一 种 基 
于 该 模型 的 自动 勾画 模型 ， 能 够 快速 完成 CBCT 图 像 上 的 临床 CTV 和 和 危及 器 官 OAR 自动 
勾画 工作 。 以 上 研究 均 表 明了 Unet 模型 在 处 理 CBCT 图 像 中 的 优异 表演 。 本 研究 是 利用 
CBCT 生成 SCT， 最 终 目的 也 是 实现 自 适 应 放疗 ， 因 此 后 期 研究 可 以 考虑 将 生成 SCT 与 自动 
勾画 进行 序 贯 学 习 ， 提 高 转换 工作 效率 。 

此 前 有 大 量 利用 GAN 模型 生成 合成 CT 的 相关 研究 。GAN 模型 的 优势 在 于 它 是 一 种 
以 半 监 督 方式 训练 的 方法 ,适合 标签 较 少 的 训练 数据 "4 ， 而 且 GAN 模型 只 用 到 了 反 向 传播 ， 
不 需要 复杂 的 马尔 可 夫 链 。 李 甫 鹏 08 等 通过 对 GAN 及 其 他 深度 学 习 模 型 的 研究 , 辅助 高 能 
物理 领域 的 数据 计算 。 其 他 的 深度 学 习 网 络 如 CycleGAN、CGAN、DCLGAN 等 都 是 基 
于 GAN 模型 开发 的 新 方法 。 才 备 科 等 9 开展 了 利用 生成 对 抗 网 络 建立 头颈 部 肿瘤 磁 共 振 图 
像 IMagnetic Resonance Imaging, MRI) CT 图 像 的 映射 模型 的 研究 , 提出 并 实现 了 使 
用 GAN 模型 进行 盟 咽 癌 患 者 SCT 的 生成 , 图 像 质量 与 剂量 学 比较 均 显 示 了 方法 的 可 行 性 与 
准确 性 ， 为 磁 共 振 图 像 引 导 放 射 治 疗 的 实施 开发 了 新 的 思路 。 刘 宇 翔 等 上 四 则 利用 瓦 里 安 
OBI(On-Board Imagen) 收 集 的 CBCT 图 像 ,对 比 了 三 种 深度 学 习 方法 的 合成 CT 图 像 质量 ， 
结果 显示 使 用 U-net、Pix2PixGAN 和 CycleGAN 模型 生成 图 像 的 MAE 分 别 为 (29.4 土 
16.1), (37.1 14.4), (34.3417.3)HU. ERR EET IM, CycleGAN 模型 生成 的 图 像 保 
留 了 CBCT 图 像 结 构 且 改善 了 图 像 质量 , 而 Unet 和 Pix2PixGAN 模型 生成 的 图 像 存 在 过 度 
模糊 的 问题 ， 导 致 了 图 像 失真 ， 与 本 文 基于 Unet 模型 生成 的 SCT 对 比 度 低 结论 相同 。 本 文 
中 的 CycleGAN 模型 MAE 为 22.73 土 2.34， 相 较 于 CBCT 反而 升 高 了 ， 可 能 是 该 模型 在 
前 列 腺 等 软组织 部 位 的 学 习 不 好 ， 反 而 得 到 较 差 的 表现 。 

前 列 腺 区 域 的 组 织 结构 以 肌肉 和 软组织 为 主 ， 耻 骨 和 盆 骨 的 影像 表现 清晰 ， 在 CBCT 
中 不 易 分 辨 前 列 腺 与 周边 组 织 和 脂肪 。 张 帅 楠 等 1 通过 对 模 体 和 临床 实例 的 研究 ， 证 明了 
在 前 列 腺 图 像 引导 放疗 中 CBCT 为 合成 CT 提供 质量 保证 ， 并 研究 了 体外 实验 中 CT 值 与 电 
子 密 度 的 曲线 函数 。 因 此 利用 CBCT 生成 合成 CT 非常 有 必要 观察 其 低 对 比 度 区 域 的 表现 。 
Unet 模型 在 学 习 时 会 将 HU 值 平均 化 处 理 ， 在 低 对 比 度 区 域 中 ， 该 缺点 反而 成 为 了 优势 ， 
使 其 获得 更 好 的 训练 结果 。 
CBCT 与 CT 图 像 同 属于 同 模 态 医学 图 像 , 相 比 于 MRI 图 像 , 其 纹理 特征 信息 相对 较 少 ， 
同时 CBCT 图 像 内 存在 的 伪 影 及 噪声 使 得 伪 图 像 合成 任务 具有 一 定 的 难度 。 上 的 然而 ， 即 使 
对 于 同一 患者 ， 也 很 难 在 CBCT 和 PCT 之 间 实 现 足够 准确 的 对 齐 ， 因 为 这 些 图 像 是 在 不 同 
的 日 期 获得 的 ， 往 往 会 间隔 几 天 或 几 周 六。 在 改进 的 CBCT 图 像 中 ， 配 对 图 像 之 间 的 不 对 齐 
会 导致 边缘 模糊 、 变 形 和 一 些 解 剖 结 构 消失 等 错误 ,因此 我 们 需要 不 断 更 新 自己 的 学 习 网 络 ， 
保证 所 有 的 情况 都 可 以 学 习 到 。 

综 上 所 述 ， 由 CGAN 模型 生成 的 SCT 在 整体 上 有 更 优 的 影像 质量 ， 更 具 应 用 于 自 适 应 
台 疗 计划 的 潜力 ， 为 临床 工作 提供 更 好 的 服务 。 
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